FloatX: A C++ Library for Customized Floating-Point Arithmetic

"© ACM, 2019. This is the author's version of the work. It is posted here by permission of ACM for your personal use. Not for redistribution. The definitive version was published in ACM Transactions on Mathematical Software, {45, 4, (2019)} https://dl.acm.org/doi/10.1145/3368086"[EN] We present FloatX (Float eXtended), a C++ framework to investigate the effect of leveraging customized floating-point formats in numerical applications. FloatX formats are based on binary IEEE 754 with smaller significand and exponent bit counts specified by the user. Among other properties, FloatX facilitates an incremental transformation of the code, relies on hardware-supported floating-point types as back-end to preserve efficiency, and incurs no storage overhead. The article discusses in detail the design principles, programming interface, and datatype casting rules behind FloatX. Furthermore, it demonstrates FloatX's usage and benefits via several case studies from well-known numerical dense linear algebra libraries, such as BLAS and LAPACK; the Ginkgo library for sparse linear systems; and two neural network applications related with image processing and text recognition.This work was supported by the CICYT projects TIN2014-53495-R and TIN2017-82972-R of the MINECO and FEDER, and the EU H2020 project 732631 "OPRECOMP. Open Transprecision Computing."Flegar, G.; Scheidegger, F.; Novakovic, V.; Mariani, G.; Tomás Domínguez, AE.; Malossi, C.; Quintana-Ortí, ES. (2019). FloatX: A C++ Library for Customized Floating-Point Arithmetic. ACM Transactions on Mathematical Software. 45(4):1-23. https://doi.org/10.1145/3368086S123454Edward Anderson Zhaojun Bai L. Susan Blackford James Demmesl Jack J. Dongarra Jeremy Du Croz Sven Hammarling Anne Greenbaum Alan McKenney and Danny C. Sorensen. 1999. LAPACK Users’ Guide (3rd ed.). SIAM. Edward Anderson Zhaojun Bai L. Susan Blackford James Demmesl Jack J. Dongarra Jeremy Du Croz Sven Hammarling Anne Greenbaum Alan McKenney and Danny C. Sorensen. 1999. LAPACK Users’ Guide (3rd ed.). SIAM.Bekas, C., Curioni, A., & Fedulova, I. (2011). Low-cost data uncertainty quantification. Concurrency and Computation: Practice and Experience, 24(8), 908-920. doi:10.1002/cpe.1770Boldo, S., & Melquiond, G. (2008). Emulation of a FMA and Correctly Rounded Sums: Proved Algorithms Using Rounding to Odd. IEEE Transactions on Computers, 57(4), 462-471. doi:10.1109/tc.2007.70819Buttari, A., Dongarra, J., Langou, J., Langou, J., Luszczek, P., & Kurzak, J. (2007). Mixed Precision Iterative Refinement Techniques for the Solution of Dense Linear Systems. The International Journal of High Performance Computing Applications, 21(4), 457-466. doi:10.1177/1094342007084026Dongarra, J. J., Du Croz, J., Hammarling, S., & Duff, I. S. (1990). A set of level 3 basic linear algebra subprograms. ACM Transactions on Mathematical Software, 16(1), 1-17. doi:10.1145/77626.79170Figueroa, S. A. (1995). When is double rounding innocuous? ACM SIGNUM Newsletter, 30(3), 21-26. doi:10.1145/221332.221334Fousse, L., Hanrot, G., Lefèvre, V., Pélissier, P., & Zimmermann, P. (2007). MPFR. ACM Transactions on Mathematical Software, 33(2), 13. doi:10.1145/1236463.1236468Mark Gates Piotr Luszczek Ahmad Abdelfattah Jakub Kurzak Jack Dongarra Konstantin Arturov Cris Cecka and Chip Freitag. 2017. C++ API for BLAS and LAPACK. Technical Report 2 ICL-UT-17-03. Mark Gates Piotr Luszczek Ahmad Abdelfattah Jakub Kurzak Jack Dongarra Konstantin Arturov Cris Cecka and Chip Freitag. 2017. C++ API for BLAS and LAPACK. Technical Report 2 ICL-UT-17-03.John Hauser. Accessed March 2019. Berkeley SoftFloat project home page. Retrieved from http://www.jhauser.us/arithmetic/SoftFloat.html. John Hauser. Accessed March 2019. Berkeley SoftFloat project home page. Retrieved from http://www.jhauser.us/arithmetic/SoftFloat.html.Nicholas J. Higham. 2002. Accuracy and Stability of Numerical Algorithms (2nd ed.). Society for Industrial and Applied Mathematics Philadelphia PA. Nicholas J. Higham. 2002. Accuracy and Stability of Numerical Algorithms (2nd ed.). Society for Industrial and Applied Mathematics Philadelphia PA.Parker Hill Babak Zamirai Shengshuo Lu Yu-Wei Chao Michael Laurenzano Mehrzad Samadi Marios Papaefthymiou Scott Mahlke Thomas Wenisch Jia Deng Lingjia Tang and Jason Mars. 2018. Rethinking numerical representations for deep neural networks. arXiv e-prints (Aug 2018). arXiv:1808.02513. Retrieved from https://openreview.net/forum?id&equals;BJ_MGwqlg8noteId&equals;BJ_MGwqlg. Parker Hill Babak Zamirai Shengshuo Lu Yu-Wei Chao Michael Laurenzano Mehrzad Samadi Marios Papaefthymiou Scott Mahlke Thomas Wenisch Jia Deng Lingjia Tang and Jason Mars. 2018. Rethinking numerical representations for deep neural networks. arXiv e-prints (Aug 2018). arXiv:1808.02513. Retrieved from https://openreview.net/forum?id&equals;BJ_MGwqlg8noteId&equals;BJ_MGwqlg.Parker Hill Babak Zamirai Shengshuo Lu Yu-Wei Chao Michael Laurenzano Mehrzad Samadi Marios Papaefthymiou Scott Mahlke Thomas Wenisch Jia Deng etal 2018. Rethinking numerical representations for deep neural networks. 2018. Parker Hill Babak Zamirai Shengshuo Lu Yu-Wei Chao Michael Laurenzano Mehrzad Samadi Marios Papaefthymiou Scott Mahlke Thomas Wenisch Jia Deng et al. 2018. Rethinking numerical representations for deep neural networks. 2018.IBM. 2015. Engineering and Scientific Subroutine Library. Retrieved from http://www-03.ibm.com/systems/power/software/essl/. IBM. 2015. Engineering and Scientific Subroutine Library. Retrieved from http://www-03.ibm.com/systems/power/software/essl/.IEEE. 2008. IEEE Standard for Floating-point Arithmetic. IEEE Std 754-2008 (Aug. 2008) 1--70. DOI:https://doi.org/10.1109/IEEESTD.2008.4610935 IEEE. 2008. IEEE Standard for Floating-point Arithmetic. IEEE Std 754-2008 (Aug. 2008) 1--70. DOI:https://doi.org/10.1109/IEEESTD.2008.4610935Intel. 2015. Math Kernel Library. Retrieved from https://software.intel.com/en-us/intel-mkl. Intel. 2015. Math Kernel Library. Retrieved from https://software.intel.com/en-us/intel-mkl.ISO. 2017. ISO International Standard ISO/IEC 14882:2017(E)—Programming Language C++. Retrieved from https://isocpp.org/std/the-standard. Visited June 2018. ISO. 2017. ISO International Standard ISO/IEC 14882:2017(E)—Programming Language C++. Retrieved from https://isocpp.org/std/the-standard. Visited June 2018.Lefevre, V. (2013). SIPE: Small Integer Plus Exponent. 2013 IEEE 21st Symposium on Computer Arithmetic. doi:10.1109/arith.2013.22Liu, Z., Luo, P., Wang, X., & Tang, X. (2015). Deep Learning Face Attributes in the Wild. 2015 IEEE International Conference on Computer Vision (ICCV). doi:10.1109/iccv.2015.425Érik Martin-Dorel Guillaume Melquiond and Jean-Michel Muller. 2013. Some issues related to double rounding. BIT Num. Math. 53 4 (01 Dec. 2013) 897--924. DOI:https://doi.org/10.1007/s10543-013-0436-2 Érik Martin-Dorel Guillaume Melquiond and Jean-Michel Muller. 2013. Some issues related to double rounding. BIT Num. Math. 53 4 (01 Dec. 2013) 897--924. DOI:https://doi.org/10.1007/s10543-013-0436-2Sparsh Mittal. 2016. A survey of techniques for approximate computing. ACM Comput. Surv. 48 4 Article 62 (Mar. 2016) 33 pages. DOI:https://doi.org/10.1145/2893356 Sparsh Mittal. 2016. A survey of techniques for approximate computing. ACM Comput. Surv. 48 4 Article 62 (Mar. 2016) 33 pages. DOI:https://doi.org/10.1145/2893356NVIDIA. 2016. cuBLAS. Retrieved from https://developer.nvidia.com/cublas. NVIDIA. 2016. cuBLAS. Retrieved from https://developer.nvidia.com/cublas.D. O’Leary. 2006. Matrix factorization for information retrieval. Lecture notes for a course on Advanced Numerical Analysis. University of Maryland. Retrieved from https://www.cs.umd.edu/users/oleary/a600/yahoo.pdf. D. O’Leary. 2006. Matrix factorization for information retrieval. Lecture notes for a course on Advanced Numerical Analysis. University of Maryland. Retrieved from https://www.cs.umd.edu/users/oleary/a600/yahoo.pdf.OpenBLAS. 2015. Retrieved from http://www.openblas.net. OpenBLAS. 2015. Retrieved from http://www.openblas.net.Palmer, T. (2015). Modelling: Build imprecise supercomputers. Nature, 526(7571), 32-33. doi:10.1038/526032aAlec Radford Luke Metz and Soumith Chintala. 2015. Unsupervised representation learning with deep convolutional generative adversarial networks. Retrieved from Arxiv Preprint Arxiv:1511.06434 (2015). Alec Radford Luke Metz and Soumith Chintala. 2015. Unsupervised representation learning with deep convolutional generative adversarial networks. Retrieved from Arxiv Preprint Arxiv:1511.06434 (2015).Rubio-González, C., Nguyen, C., Nguyen, H. D., Demmel, J., Kahan, W., Sen, K., … Hough, D. (2013). Precimonious. Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis on - SC ’13. doi:10.1145/2503210.2503296Rump, S. M. (2017). IEEE754 Precision- k base-β Arithmetic Inherited by Precision- m Base-β Arithmetic for k < m. ACM Transactions on Mathematical Software, 43(3), 1-15. doi:10.1145/2785965Rybalkin, V., Wehn, N., Yousefi, M. R., & Stricker, D. (2017). Hardware architecture of Bidirectional Long Short-Term Memory Neural Network for Optical Character Recognition. Design, Automation & Test in Europe Conference & Exhibition (DATE), 2017. doi:10.23919/date.2017.7927210Giuseppe Tagliavini Stefan Mach Davide Rossi Andrea Marongiu and Luca Benini. 2017. A transprecision floating-point platform for ultra-low power computing. Retrieved from Arxiv Preprint Arxiv:1711.10374 (2017). Giuseppe Tagliavini Stefan Mach Davide Rossi Andrea Marongiu and Luca Benini. 2017. A transprecision floating-point platform for ultra-low power computing. Retrieved from Arxiv Preprint Arxiv:1711.10374 (2017).Tobias Thornes. (2016). Can reducing precision improve accuracy in weather and climate models? Weather 71 6 (02 June 2016) 147--150. DOI:https://doi.org/10.1002/wea.2732 Tobias Thornes. (2016). Can reducing precision improve accuracy in weather and climate models? Weather 71 6 (02 June 2016) 147--150. DOI:https://doi.org/10.1002/wea.2732Van Zee, F. G., & van de Geijn, R. A. (2015). BLIS: A Framework for Rapidly Instantiating BLAS Functionality. ACM Transactions on Mathematical Software, 41(3), 1-33. doi:10.1145/2764454Todd L. Veldhuizen. 2003. C++ Templates are Turing Complete. Technical Report. Todd L. Veldhuizen. 2003. C++ Templates are Turing Complete. Technical Report.Qiang Xu Todd Mytkowicz and Nam Sung Kim. 2015. Approximate computing: A survey. IEEE Des. Test 33 (01 2015) 8--22. Qiang Xu Todd Mytkowicz and Nam Sung Kim. 2015. Approximate computing: A survey. IEEE Des. Test 33 (01 2015) 8--22.Ziv, A. (1991). Fast evaluation of elementary mathematical functions with correctly rounded last bit. ACM Transactions on Mathematical Software, 17(3), 410-423. doi:10.1145/114697.11681

Katalog edukacija 2015/2016 godine

Since 2010, the Institute for Science Application in Agriculture as the organization authorised by the Ministry of Agriculture and Environmental Protection of the Republic of Serbia has been providing continuous training of advisors from PSSS, in order to improve their knowledge and skills in the field of agriculture. These continuous training courses substantially contribute to the transfer of knowledge and information from advisors to agricultural producers, being carried out to strengthen the competitiveness of agricultural production and increase the quality of agricultural products. Besides agricultural advisors, the trainees are also producers associations, local government, rural development centres, NGOs and other subjects interested in acquiring and improving their knowledge. The trainees receive the Certificate of Training/Education Completion issued by the Institute for Science Application in Agriculture, and this certification is necessary for getting the License for Advisory Work. The training programme is designed based on the need assessment of agricultural advisors and producers as well as on priorities of agriculture and rural development in the Republic of Serbia. The training programmes have been implemented with the help of the funding from the Ministry of Agriculture and Environmental Protection of the Republic of Serbia, as well as through the participation of partner organisations (Institute of Field and Vegetable Crops from Novi Sad, GIZ, SDC), USDA technical assistance, project collaboration (TEMPUS, IPA, FADN). The Institute organises 10 to 20 modules per year. From 2010 to 2016, the Institute carried out 54 modules and 3 workshops, as well as 8 seminars of the Agricultural Advisory Service of the Republic of Serbia. All modules were approved by the Expert Council on Advisory Work and Applied Research of the Ministry of Agriculture and Environmental Protection of the Republic of Serbia. During 2015 and 2016, the Institute with its partners from the TEMPUS project (544072-TEMPUS- 1-2013-1-RS-TEMPUS-SMHES (2013-4604 / 001-001) “Building Capacity of Serbian Agricultural Education to Link with Society (CaSA)” developed and implemented 10 modules. Their special contribution is reflected in the development of modules for distance learning (“e-learning”), aimed to build the capacity of PSSS and the capacity of agricultural education in the Republic of Serbia through modern means of learning. The training courses cover all areas of agricultural production (animal husbandry, field and vegetable crop production, fruit production and viticulture, plant protection, food technology, agricultural economics), as well as production management, EU standards and regulations, rural tourism, rural development, agricultural policy measures and training of advisors on advisory techniques and skills. The task of these training courses is to enable: 1. Modernisation of knowledge, i.e. innovation of knowledge on new and modern production technologies, 2. Extension of knowledge from the areas not covered by regular schooling, and 3. Acquiring of applied knowledge - mastering advisory skills. 5 The training courses are carried out through different types of training: classroom lectures, practical training, distance learning (e-learning) and combined thematic lectures and distance learning (blended). To ensure the quality and practical use of training courses, the Institute carries out the courses in collaboration with prominent experts, in groups with a limited number of trainees. In all the courses the trainees have direct contact with the trainer, take part in discussions and can have answers on their questions. The Institute posts the PowerPoint presentations from all the implemented courses on the internet portal of the Agricultural Advisory Service to be available for the advisors from PSSS, agricultural producers and other interested subjects. Moreover, as the training courses are supported with educational materials in the form of flayers, manuals, brochures, leaflets and online applications on the PSSS portal (www.psss.rs). In the previous decades, the Institute for Science Application in Agriculture through its work on training courses and applied research has greatly contributed to the transfer of scientific achievements from all areas of agriculture, mainly to the Agricultural Advisory Service (PSSS) and agricultural producers. The expert team from the Institute consists of prominent experts in the most important areas of agriculture, who can use their knowledge to meet the demands of multidisciplinary projects from modern agriculture. We have made this catalogue to present part of the educational programmes we organise that can be useful for your future professional development.У циљу стицања и унапређења знања и вештина из области пољопривреде, Институт за примену науке у пољопривреди (ИПН), као Овлашћена организација од стране Министарства пољопривреде и заштите животне средине Републике Србије, од 2010. године, организује едукације саветодаваца Пoљопривредне саветодавне и стручне службе Републике Србије (ПССС). Континуирана едукација саветодаваца суштински доприноси трансферу најновијих знања до пољопривредних произвођача, а реализује се у циљу јачања конкурентности пољопривредне производње и повећања квалитета производа. Учесници едукација су и удружења призвођача, локалне самоуправе, центри за рурални развој, невладине организације и сви остали заинтересовани за стицање и унапређење знања. Полазницима едукација Институт издаје Сертификат о завршеној едукацији/тренингу из области саветодавних послова у пољопривреди, који је услов за стицање Лиценце за обављање саветодавних послова. Програм едукација израђује се на бази процене потреба саветодаваца и пољопривредних произвођача и приоритета пољопривреде и руралног развоја на нивоу Републике Србије. Програми едукација реализују се финансирањем од стране Министарства пољопривреде и заштите животне средине Републике Србије, као и кроз учешће партнерских организација (Институт за ратарство и повртарство из Новог Сада, GIZ, SDC), уз техничку помоћ USDA, и сарадњу на пројектима (TEMPUS, IPA, FADN). Институт организује 10 до 20 модула годишње. У периоду од 2010. do 2016. године реализовао је 54 модула и 3 радионице, као и 8 семинара Пољопривредне саветодавне и стручне службе Републике Србије. Све модуле одобрио је Стручни савет за саветодавство и примењена истраживања Министарства пољопривреде и заштите животне средине Републике Србије. Институт је са партнерима на TEMPUS пројекту (544072-TEMPUS-1-2013-1-RS-TEMPUSSMHES (2013 – 4604/001 - 001): Building Capacity of Serbian Agricultural Education to Link with Society (CaSA) - Изградња капацитета српског образовања у области пољопривреде ради повезивања са друштвом (CaSA)), током 2015. и 2016. године развио и реализовао 10 модула. Посебан допринос огледа се у развоју модула за учење на даљину (e-learning), који имају за циљ изградњу капацитета ПССС и капацитета пољопривредног образовања у Републици Србији кроз савремене видове учења. Едукације обухватају све области пољопривредне производње, као што су менаџмент производње, стандарди и регулативе ЕУ, сеоски туризам, рурални развој, мере аграрне политике и едукације за саветодавне технике и вештине саветодаваца. Задатак едукација је да омогуће: 1. Осавремењавање односно иновирање знања - из области нових и савремених технологија производње, 2. Проширење знања - из области које нису биле обухваћене редовним образовањем и 3. Стицање примењених знања - овладавање саветодавним вештинама. ИНСТИТУТ ЗА ПРИМЕНУ НАУКЕ Овлашћена организација за обуку пољопривредних саветодаваца и пољопривредних У циљу стицања и унапређења знања и вештина примену науке у пољопривреди (ИПН), као Министарства пољопривреде и заштите животне године, организује едукације саветодаваца Пoљопривредне Републике Србије (ПССС). Континуирана едукација саветодаваца суштински до пољопривредних произвођача, а реализује пољопривредне производње и повећања квалитета производа. Учесници едукација су и удружења призвођача, локалне развој, невладине организације и сви остали заинтересовани знања. Полазницима едукација Институт издаје Сертификат области саветодавних послова у пољопривреди, обављање саветодавних послова. Програм едукација израђује се на бази процене потреба произвођача и приоритета пољопривреде и руралног Програми едукација реализују се финансирањем од заштите животне средине Републике Србије, као и (Институт за ратарство и повртарство из Новог Сада, и сарадњу на пројектима (TEMPUS, IPA, FADN). Институт организује 10 до 20 модула годишње. реализовао је 54 модула и 3 радионице, као и 8 семинара стручне службе Републике Србије. Све модуле одобрио примењена истраживања Министарства пољопривреде Републике Србије. Институт је са партнерима на TEMPUS пројекту (544072-(2013 – 4604/001 - 001): Building Capacity with Society (CaSA) - Изградња капацитета српског ради повезивања са друштвом (CaSA)), током 2015. модула. Посебан допринос огледа се у развоју модула имају за циљ изградњу капацитета ПССС и капацитета Републици Србији кроз савремене видове учења. Едукације обухватају све области пољопривредне производње, стандарди и регулативе ЕУ, сеоски политике и едукације за саветодавне технике и вештине Задатак едукација је да омогуће: 1. Осавремењавање односно иновирање знања технологија производње, 2. Проширење знања - из области које нису биле обухваћене 3. Стицање примењених знања - овладавање саветодавним Едукације се реализују кроз различите методолошке типове обука: тематска предавања у учионици, практична обука, учење н а д аљину ( e-learning) и комбиновано тематска предавања и учење на даљину (blended). Ради осигурања квалитета и практичне применљивости Инстутут реализује едукације у сарадњи са реномираним стручњацима и у групама са ограниченим бројем учесника. Све наше едукације карактерише непосредан контакт учесника са предавачем, могућност дискусије и добијања одговора на конкретна питања. За све реализоване едукације, Институт поставља Power point презентације на порталу ПССС (www.psss.rs) које су доступне саветодавцима, пољопривредним произвођачима и осталим заинтересованим корисницима. Такође, као подршка едукацијама израђују се едукативни материјали у форми флајера, приручника, брошура, лифлета и on line апликација на порталу ПССС. Током протеклих деценија Институт је својим радом кроз едукације и примењена истраживања дао изузетан допринос трансферу научноистраживачких достигнућа из свих области пољопривреде, првенствено ка пољопривредним саветодавним и стручним службама Србије (ПССС) и пољопривредним произвођачима. Стручни тим Института чине реномирани стручњаци из најзначајнијих области пољопривреде, који својим знањем могу да одговоре захтевима мултидисциплинарних пројеката из домена савремене пољопривреде. Овај Каталог направили смо са жељом да вам представимо део едукативних програма које организујемо, а могу вам бити од значаја у даљем стручном и професионалном напредовању